L2 Regularization

释义 Definition

L2 正则化：一种在训练模型时对参数（权重）加入“平方惩罚”的方法，通常是在损失函数中添加一项 λ‖w‖²，以鼓励权重变小，从而减少过拟合、提升泛化能力。在一些深度学习语境中也常被称为 weight decay（权重衰减）。
（注：在不同模型里实现细节可能略有差异，但核心思想是“惩罚权重的平方和”。）

发音 Pronunciation (IPA)

/ˌɛl ˈtuː ˌrɛɡjələraɪˈzeɪʃən/

例句 Examples

L2 regularization helps prevent overfitting.
L2 正则化有助于防止过拟合。

By adding L2 regularization to the loss function, the model learns smaller weights and often generalizes better on unseen data.
通过在损失函数中加入 L2 正则化，模型会学习到更小的权重，并且通常能在未见过的数据上表现得更好。

词源 Etymology

“L2” 来自数学中的 L² 范数（Euclidean norm，欧几里得范数）概念，表示对向量各分量平方求和再开方；在机器学习中常用其平方形式 ‖w‖² 作为惩罚项。“regularization（正则化）”源自“使之更规则/更受约束”的含义，指通过约束模型复杂度来提升稳定性与泛化。

相关词 Related Words

• Elastic Net
• Hyperparameter
• L1 Regularization
• Lambda
• Norm
• Overfitting
• Regularization
• Ridge Regression
• Weight Decay

文学与经典著作 Literary Works

• The Elements of Statistical Learning（Hastie, Tibshirani, Friedman）：在岭回归（与 L2 惩罚密切相关）与正则化框架中系统讨论。
• Pattern Recognition and Machine Learning（Christopher M. Bishop）：在概率视角下讲解带 L2 惩罚/高斯先验对应关系。
• Deep Learning（Goodfellow, Bengio, Courville）：在深度网络训练与正则化章节中讨论 L2 正则化与权重衰减。
• Neural Networks and Learning Machines（Simon Haykin）：在神经网络的泛化与正则化相关内容中涉及类似思想。